20230609 estsoft {권택순CTO}

description: No value
aliases: No value
tags: No value
created: 2023-06-09T09:03:04
updated: 2023-07-15T21:30:22
title: 20230609 estsoft {권택순CTO}

오늘은 이스트소프트 권택순 CTO 특강이 예정되어있다고 한다. 장고 해야하는데.. 뭐어? 8시간 내내 특강이라고??? 아이고야
장고, 플라스크 등 프레임워크 만든 사람이 요즘 어떤 얘기를 하고 어떤 고민을 하고 있는지 모니터링 해야 한다.
https://civitai.com 생성형 AI의 탄생. 이 서비스는 일반인들이 만들어낸거다. 자기들끼리 공유하고.
가짜와 진짜의 구분이 무의미해진다. 인식이 아니라 생성의 단위에서 똑같아진다면. 인감도장은 위조했는지 아닌지 감별이 된다. 그것은 감별사의 resolution이 조작가의 것보다 높아서 그래. 근데 이게 똑같아지면 감별이 불가능해진다는것.
저거만 보고 같은 진짜인지 이젠 무의미해진다. 중요해지지 않는다면 무엇이 유의미하고 무엇이 중요하지?
책
- 로지코믹스 - 버트런드 러셀의 삶을 통해 보는 수학의 원리
  - 조지 부울 "AND OR NOT 만 만들면 끝이다."
  - 논리는 언어로 표현 가능하고, 합의가 가능하다. "명제: 참과 거짓을 구분할 수 있는 문장"
- 기계학습을 다시 묻다
  - 확률적으로 세상이 어떻게 돌아갈것인지를 예측. 어떻게 다뤄야 하고 그런 로직들을 컴퓨터에게 어떻게 일을 시켜야 할지가 기계학습 (머신러닝).
컴퓨터가 못하는 일이 뭐죠?
- 개랑 고양이 사진 보여주고 구분하지 못한다는거. 근 50년동안 똘똘한 사람들이 붙어도 해결못함. ==> 이거 못하는구나. 얼추 거의 맞추는 거, 사람들은 다 할 수 있는데 컴퓨터는 못하는구나.
- 합리적 판단만 내리고 그런것들을 추구하는 사람들이 꺾인 순간. 논리에서 지지마라, 그렇다면 친구를 잃을 것이다
- object removal 누구나 알아, 최근에야 포토샵에서 들어왔는데, 논리적이고 합리적인 사람 입장에서는 물체를 지운 자리를 채운다는 것 자체가 말이 안되는 것이다. "답이 여러개인 문제는 문제도 아니야". 하지만 일반인들 입장에서는 "그까이꺼 대충" 맞추면 그만.
- inpainting: 사진의 일부를 지우고 다시 채우기
- outpainting: 사진의 조각을 가지고 전체 채우기
지금 AI는...
- 라이트형제가 새를 겁나 많이 봤을때의 그 단계에 와 있다.
- 그렇다면 우리는? 사람의 뇌를 겁나 많이 봐야지.
게임시장이 커지면서 그래픽 카드의 가성비가 높아졌다. => 쿠다 API가 2008년에 발표됐다. => 누군가 그래픽 카드를 가지고 신경망을 돌리기 시작했다.
- 같은 일을 하는데 병렬로 수행하는 코어가 혼자서 고클럭의 코어보다 에너지를 적게 쓰고 일을 더 많이 할 수 있다.
사람 얼굴을 찾기 위해 68개의 특징점을 찾아야 한다. 근데 raw 데이터는 많은데 학습시킬 라벨이 없다... ==> 비지도학습의 도입
- 라벨링 전용 팀에 의뢰를 맞길 수 있다. 데이터 클렌징 팀.
- openai, google 같은 곳에서는 그냥 양으로 승부하는 경우도 있다.
라벨을 스스로 다는 SSL (Self Supervised Learning)
- 사람이 안하고 기계가 할 수 있는 일들부터 pre-training.
- GPT도 Generalized Pre-Training의 약자로, 스스로 학습할 수 있는 언어모델을 의미한다.
생성모델: 고양이를 그려!
- 그냥 인식할 때 쓰던 뉴럴 네트워크 사용하니까 되더라.
- Image to Image translation
  - 흑백을 컬러로 바꿔줘
  - 대충 그린 윤곽으로부터 실제 그림으로 만들어줘
  - 낮을 밤으로 바꿔줘
딥러닝은 기억했다가 뱉어낼 때 보관을 한다. 일반적인 리스트의 인덱싱과는 차이점이 있다. ls['tiger']를 보고 유사점을 본 뒤에 가중치의 형태로 뱉는다.
- 계산과 메모리는 근본적으로 똑같다. f('dog')와 f['dog']는 근본적으로 똑같다.
pytorch
- 일렬로 쭉 세운 2D 사진을 갖다가 벌인지, 개미인지 구분하는 신경망을 모델링해보자.
- weight(가중치) 변경하는 것이 학습이다.
CNN (Convolutional Neural Network) wiki
- 사진을 보고 그 사진을 해설하는 모델. 그 모델의 입력이 있을 때 Edge를 먼저 보는구나! 그렇다면 컨볼루션 마스크를 씌워 에지를 보자꾸나.
- 필터를 학습하는 딥러닝 모델임. 컨볼루션(합성곱) 필터란, 이미지로부터 단순한 형태를 추출할 수 있는 필터(예를 들면 에지검출)를 사용하는 것을 의미한다.
- locality: 모든 신호는 인접한 신호와 비슷할 확률이 높다는 전제 하에 진행하고, 신호의 변화량이 크다면 그것은 유의미한 정보라고 볼 수 있다.
- Convolution, Max Pooling 차이가 무엇인가요?
  - Max Pooling: maximum 신호만 가져온다, 가중치 합도 아니고 사진 데이터가 여러 방향,사이즈,으로 치우쳐 있는 경우에도 fault tolerance 하도록
  - translation invariance: 위치가 달라도 동일한 시그널
  - rotation/viewpoint invariance: 보는 방향이 달라도 동일한 시그널이어야 한다.
  - illumination invariance: 광원이 달라도 동일한 시그널이어야 한다.
Auto Incoder
- IT (Information Technology) 정보의 표현은 직관적이고 쉽다. 왜 대부분의 사진은 BMP로 유통될까? => 압축이 안 되어 있어서. 메시지를 어떻게 표현하느냐를 다루는 도메인이다. 모든데이터는 언제나 raw한 포맷으로 시작된다. 하지만 우리 목적에 맞게 얘를 변환하는데, 사이즈를 줄인다거나 에러가 끼거나 훼손되어도 복원가능하기 위해 인코딩이라는 작업을 진행한다.
- encoder: code를 만드는 놈이다. eg, jpeg/png encoder
  - WHY 압축? ==> 정보의 양을 줄일 수 있어서.
  - 예전엔 구리선을 순수하게 만드는 방법이었지만 요새는 에러를 끼고도 안전하게 정보를 전송할 수 있게 만드는 저시기가 있다.
- decoder: code로부터 해체하는 놈이다.
- Deep Learning도 IT이다. Encoding, Decoding이다. 에러와 잡음을 줄이고 사람의 직관과 똑같게 만들어주자.
- 원본을 인코딩 하여 디코딩 했을 때의 loss 비율을 가지고 스스로 학습.
- denoising autoencoder = 원본에 임의로 노이즈를 준다. 그 상태로 인코딩을 한다. 그리고 이것을 디코딩 했을 때 노이즈 없는 결과를 볼 수 있게된다.
https://segment-anything.com
- 파일을 아무거나 올리면 내부에서 인코딩을 한다. 인코딩을 한 뒤에 다양한 방식 (점을 찍는다거나 상자를 그리거나 언어로 묘사하면)의 프롬프트에 따라 디코딩 된 결과를 리턴할 수 있다.
https://prompthero.com | https://openai.com/dall-e-2 | https://github.com/CompVis/latent-diffusion | https://github.com/CompVis/stable-diffusion
- 텍스트로 이미지 만들기 dall-e는 유료이고 닫힌소스인데 이 기술과 동일한 걸 만든 latent-diffusion을 바탕으로 stable-diffusion을 만들어 오픈소스로 뿌려버렸다. 사용자들이 자기네 모델을 만들어 배포하기 시작했고, 그것을 가지고 스스로 fine-tuning을 하게 됐는데, 그것을 서비스하는 업체가 바로 https://civitai.com
  - fine-tuning 하는 과정을 LoRA라고 하는 transformer 기반 언어모델을 가지고 진행할 수 있다.
- source image를 가지고 에지검출, 에지와 글로 쓴 프롬프트를 가지고 아예 새로운 그림을 생성할 수 있다.
  - 어떻게 원본사진과 텍스트만 가지고 새로운 사진을 만들어낼 수 있던 걸까? ===> Multi Model, 서로 연관성 없어 보이는 두 모델이 동시에!
    - CLIP (Contrastive Language-Image Pre-Training대조적 언어-이미지 사전 교육)
    - 텍스트 인코더 & 이미지 인코더를 동시에 사용, 수많은 텍스트와 이미지로부터 벡터를 만들어 그냥 내적(가중치합)을 수행하면 일종의 유사도를 뽑아낼 수 있다. 두 벡터가 수직이면 0이 나오는 것 정도는 알잖아?
    - 5개의 텍스트, 5개의 이미지를 인코딩한 벡터들을 행렬 모양으로 곱셈하면 좌표평면에서의 같은 공간으로 몰아버릴 수 있게된다. ==> 분류기를 만드는 데 쓸 수 있겠다.
    - stable-diffusion같은 애들이 CLIP을 엔진으로 가져올 수 있다. ==> 분류기? 그거론 부족해. 우린 생성까지 한다.
NVIDIA의 미션
- 너네가 상상하던 것들을 내가 그려주겠어.
- 게임업계 => 3D 그래픽
- Deep Learning => 인식 모델, 생성 모델, ...